Skip to content

fix: keep Qwen best candidates usable after verified dependency failures - #473

Merged
Dong1017 merged 1 commit into
InferMatrixLab:mainfrom
Bounty-hunter:codex/recover-best-final
Nov 16, 2026
Merged

Dong1017 merged 1 commit into
InferMatrixLab:mainfrom
Bounty-hunter:codex/recover-best-final

Conversation

@Bounty-hunter

Copy link
Copy Markdown
Contributor

问题与交付范围

Refs #419

后续候选尝试一个当前环境不支持的算子,不应让前面已经找到的有效实现失去独立 final 的机会。 本 PR 修复已经实际复现的 Qwen TBE 依赖失败,并要求执行事实与基线复查支持“可以继续”的判断。

用户授权从最新 main 单独实现此问题并提交 PR。此分支不包含实验性的收益预估、efficient 策略、检索或诊断接口改动。

前因后果

#419 的两组 Qwen 探索都已有有效 best,后来调用旧 npu_layer_norm_eval 时失败。旧评测将其记录为 infrastructure_failure,共享 Harness 随即进入 blocked;recover 只结算已有回执,不解锁状态,因而 final 也被拒绝。历史实验最终只能另外补测 best,原 campaign 仍是不完整的。

核对原始日志后确认,最外层异常是 RuntimeError,不是可直接捕获的 Python ModuleNotFoundError:

RuntimeError: ... AclSetCompileopt(aclCompileOpt::ACL_PRECISION_MODE, ...)
Environment_Error_Import_Python_Module_Failed(EC0010):
Failed to import Python module ModuleNotFoundError: No module named 'tbe'.

main 已有正确的 candidate_failure → 保留 best → 继续/独立 final 生命周期。因此本 PR 在任务侧明确失败归属,并加强共享执行检查,复用这条生命周期;没有增加通用解除 blocked 的命令。

修改前后流程

flowchart TD
    A["已经保存有效 best"] --> B["后续候选调用不支持的 TBE 内核"]
    B --> C["修改前:RuntimeError 统一落入 infrastructure_failure"]
    C --> D["campaign blocked;recover 不解锁;final 被拒绝"]
    B --> E["修改后:仅在候选函数调用边界识别明确 TBE 诊断"]
    E --> F{"同 case 的基线先前已通过?"}
    F -->|否| D
    F -->|是| G["同一分配内重新执行基线:原始输入、独立参数、同步和参考精度检查"]
    G --> H{"基线复查通过?"}
    H -->|否| D
    H -->|是| I["记录 candidate_failure;保留原始异常和复查证据;无性能分数"]
    I --> J{"执行正常结束,源码及证据绑定有效?"}
    J -->|否| D
    J -->|是| K["Harness 消耗本轮、保留失败、best 不变,保持 active"]
    K --> L["Agent 按原轮次/时间预算修复或调用 final"]
    L --> M["新进程执行完整冻结协议,独立复测留存 best"]
Loading

基线复查失败时保留候选异常和复查异常,阶段保持 baseline_recovery_check。成功时恢复原候选阶段,再记录候选拒绝。复查不重试失败候选、不产生优化分数、不晋升代码。

各模块具体改动

位置 行为
benchmark/tasks/qwen21-denoise-npu/benchmark.py 仅识别候选调用内的 ModuleNotFoundError.name=tbe/子模块,或同时包含 Compileopt、EC0010、明确 TBE 导入失败的 CANN 诊断。要求对应 case 已有基线成功记录,再实际复查基线;记录缺失模块、原异常和复查事实。
同任务的 optimization.py::assess 候选拒绝必须对应 worker 正常退出 failed/2;失败结果也验证 candidate、task、evaluator 快照身份。依赖拒绝还必须有同 case 的基线复查记录;保留 error.log 哈希。
harness/optimization.py::_settle 两个入口共同拒绝用结果文件覆盖超时、取消、信号退出或未知执行状态;有分数的 completed 结果还必须对应正常成功执行。继续沿用既有 best 选择与 final 规则。
文档与回归测试 写明候选拒绝、基础设施故障和 final 的边界;覆盖普通项目、题库、错误诊断、污染输入、基线复查失败及证据变化。

普通项目的候选失败仍由调用方冻结的质量/测量协议判定,不引入 Qwen 专用逻辑,也不导入 Benchmark。它同样受共享 Harness 的执行事实检查保护。

验证

真实 NPU 回归

这是一项确定性的失败处理回归,不是新的 Agent 搜索实验,也不用于证明优化效率或性能增益。

  • 现有 Ascend 环境,单卡 npu run --gpus 1 --timeout 10m --wait 2m 自动分配;无依赖安装和共享环境修改。
  • 重放 task: 让 RSI 用更少代价获得更好的实测优化结果 #419 留存的同一个失败候选:旧 main 的任务入口返回 1 / infrastructure_failure;修改后返回 2 / candidate_failure,当前 case 的额外 baseline recovery_check 为 PASS。
  • 新建独立 campaign,固定 2 轮,10 分钟预算,单次评测及 final 预留各 180 秒;采样 pairs=1, samples=1, warmups=0。在已有分配内运行,不嵌套调度。
  • 依次提交一个留存有效候选、上述失败候选,再执行完整任务独立 final。正式轮次和 final 保留完整 case 范围及原质量门槛。
检查点 实际结果
第 1 轮有效候选 正常完成,保存为 best
第 2 轮依赖失败 candidate_failure,campaign 仍 active,可执行 final
best 是否被失败候选覆盖 没有;两轮返回的 best SHA256 相同
独立 final 完整任务通过,campaign completed;final 源码 SHA256 与先前 best 相同
失败记录是否保留 原失败 observation 文件在 final 前后字节相同
设备上的任务回归测试 test_qwen21_task.py:43 passed,0 skipped;包含真实 CPU 数学计算下基线复查成功/失败两支
整个回归脚本 退出码 0,约 168 秒;调度结束后所用设备已释放

原始执行日志、候选和完整 campaign 在本地留存,未将含环境路径的原始包上传到代码仓。以上是脱敏摘要;仓内自动化回归测试可以独立运行,不依赖这份私有实验目录。

软件检查与版本对应

  • 本地 Qwen 任务与协议检查:48 passed / 4 skipped;4 项因本地无 PyTorch 跳过,其中的任务数学检查已在上述远端 43 项中实际执行。
  • 普通项目和题库的真实子进程生命周期测试通过:已有 best 后候选失败,final 仍从留存 best 执行,失败记录不被覆盖。
  • 超时、取消、未知执行、信号退出、基线失败、未知 ACL 错误、缺失复查证据和源码变化保持拒绝;原 exact/up_to、预算和冻结协议检查保留。
  • 协议/架构门禁/smoke/claim 等检查通过;ruff check src tests tools 与 git diff --check 通过。
  • 一次测试在源码格式修正期间触发了 runtime changed 保护;冻结源码后该测试单独重跑通过,没有放宽运行时身份检查。

实机运行的冻结提交为 af702e1ade503007a099c1a2cb300676c88b64b6。之后 main 合入证据归档和打包改动,本 PR 已 rebase 至 2cbfab66b00d75e69be583ebfeabee2b8f83c4ea,当前提交 f7cf82b1a1da0fb2e38f6c1082263d331c68a413。已核对两个候选提交的全部 src/ 以及相关测试字节一致,因此复用上述执行证据;未声称在新 SHA 上另跑了一次 NPU。

边界与后续

未知设备错误、初始化/基线失败、未确认执行结束、证据异常仍为 blocked。正常退出不等于证明远端资源租约已释放;本 PR 没有通用环境修复或租约恢复能力。

现有 blocked 历史 campaign 不解锁、不改写;recover 语义不变。失败 final 也不自动重试,exact 轮次和截止时间不能绕过。本 PR 完成 #419 中已知候选能力失败导致无法收尾的修复切片,整体优化效率目标仍待单独验证,Issue 保持开放。

知识库受保护路径:不涉及。正式维护者 review 与合并验收仍待进行。

…ures

Classify the optional TBE dependency failure at the Qwen candidate call boundary after a verified baseline. Require normal execution and bound evidence before a rejection can continue the shared lifecycle; preserve best, failed attempts and independent final.

Agent-assisted-by: Codex (implementation)
Signed-off-by: dengyunyang <584797741@qq.com>
@Dong1017 Dong1017 added area:harness Harness module: profile, A/B loop, quality gates, evidence reports kind:task Bounded delivery task with a delegated slice labels Nov 16, 2026

@cursor cursor Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

PR review verdict — PASS
Reviewed base 2cbfab66b00d75e69be583ebfeabee2b8f83c4ea and head f7cf82b1a1da0fb2e38f6c1082263d331c68a413.
Verified Qwen TBE/EC0010 candidate_failure only after verified baseline + recovery_check, assess exit/identity binding, shared _settle rejecting interrupted/unknown execution, keep-best + independent final lifecycle tests, docs boundaries, DCO, and ready CI all green at head. Refs #419 slice A; Issue stays open.

@Dong1017 Dong1017 left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

PR review verdict — PASS
Reviewed base 2cbfab66b00d75e69be583ebfeabee2b8f83c4ea and head f7cf82b1a1da0fb2e38f6c1082263d331c68a413.
Independent steward second Approve (Dong1017) after cursor[bot] PASS. Verified Qwen TBE/EC0010 candidate_failure path with baseline recovery_check, shared _settle execution-fact gate, keep-best + independent final lifecycle, ready CI green. Refs #419 slice A; Issue stays open.

@Dong1017
Dong1017 merged commit 891aadd into InferMatrixLab:main Nov 16, 2026
10 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

area:harness Harness module: profile, A/B loop, quality gates, evidence reports kind:task Bounded delivery task with a delegated slice

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants